Là người có học vấn[2] và có tinh thần tự trị, ông thường xuyên đấu tranh với những quan chức thực dân để giảm áp bức và sưu thuế, vì vậy rất có uy tín với dân chúng trong vùng. Chính vì vậy, những người Cộng sản đã tìm cách bắt liên lạc và vận động để tranh thủ một thủ lĩnh địa phương. Năm 1934, do sự hướng dẫn của những người Cộng sản, ông bí mật xây dựng các đội tự vệ bán vũ trang Tràng Xá, Võ Nhai, Bắc Sơn.

Năm 1935, Hoàng Văn Thụ, Ủy viên Ban Chấp hành Trung ương về gây dựng cơ sở và thành lập chi bộ Cộng sản ghép ở 2 châu Võ Nhai và Bắc Sơn. Ông cũng được mời tham dự chi bộ dù chưa phải là đảng viên. Tuy nhiên, chỉ một năm sau, năm 1936, ông gia nhập Đảng Cộng sản Đông Dương với bí danh là Tân Hồng.